รายการทีวีของโคลนั้นถูกเพิกถอนเพราะว่าผู้ให้สนับสนุนหลักไม่อยากที่จะให้เงินสนับสนุนรายการที่ออกอากาศศิลปินผิวสี โคลนั้นต่อสู้กับการเหยียดสีผิวมาต่อชีวิต เขาปฏิเสธที่จะเล่นดนตรีในรายการที่มีการแยกสีผิวอย่างเห็นได้ชัด ในปี1956 เขาถูกโจมตีเพื่อที่จะลักพาตัวบนเวทีระหว่างร้องเพลง Little Girl ในเมืองเบอมิงแฮม รัฐอลาบามา โดยสมาชิกสามคนจาก North Alabama White Citizens' Council โคลได้รับบาดเจ็บที่หลัง เขาไม่ได้เล่นจนจบคอนเสิร์ตและไม่เคยหวนกลับไปแสดงดนตรีทางรัฐทางใต้อีกเลย